胰腺癌是与癌症相关死亡的全球主要原因之一。尽管深度学习在计算机辅助诊断和检测方法(CAD)方法中取得了成功,但很少关注胰腺癌的检测。我们提出了一种检测胰腺肿瘤的方法,该方法在周围的解剖结构中利用临床上的特征,从而更好地旨在利用放射科医生的知识,而不是其他常规的深度学习方法。为此,我们收集了一个新的数据集,该数据集由99例胰腺导管腺癌(PDAC)和97例没有胰腺肿瘤的对照病例组成。由于胰腺癌的生长模式,肿瘤可能总是可见为低音病变,因此,专家指的是二次外部特征的可见性,这些特征可能表明肿瘤的存在。我们提出了一种基于U-NET样深的CNN的方法,该方法利用以下外部次要特征:胰管,常见的胆管和胰腺以及处理后的CT扫描。使用这些功能,该模型如果存在胰腺肿瘤。这种用于分类和本地化方法的细分实现了99%的敏感性(一个案例)和99%的特异性,这比以前的最新方法的灵敏度增加了5%。与以前的PDAC检测方法相比,该模型还以合理的精度和较短的推理时间提供位置信息。这些结果提供了显着的性能改善,并强调了在开发新型CAD方法时纳入临床专家知识的重要性。
translated by 谷歌翻译
Automated machine learning (AutoML) algorithms have grown in popularity due to their high performance and flexibility to adapt to different problems and data sets. With the increasing number of AutoML algorithms, deciding which would best suit a given problem becomes increasingly more work. Therefore, it is essential to use complex and challenging benchmarks which would be able to differentiate the AutoML algorithms from each other. This paper compares the performance of four different AutoML algorithms: Tree-based Pipeline Optimization Tool (TPOT), Auto-Sklearn, Auto-Sklearn 2, and H2O AutoML. We use the Diverse and Generative ML benchmark (DIGEN), a diverse set of synthetic datasets derived from generative functions designed to highlight the strengths and weaknesses of the performance of common machine learning algorithms. We confirm that AutoML can identify pipelines that perform well on all included datasets. Most AutoML algorithms performed similarly without much room for improvement; however, some were more consistent than others at finding high-performing solutions for some datasets.
translated by 谷歌翻译
癌症护理中的治疗决策受到随机对照试验(RCT)的治疗效应估计的指导。 RCT估计在某个人群中,一种治疗与另一种治疗的平均效应。但是,治疗可能对人群中的每个患者都不同样有效。了解针对特定患者和肿瘤特征量身定制的治疗的有效性将实现个性化的治疗决策。通过平均RCT中不同患者亚组的结果来获得量身定制的治疗效果,需要大量的患者在所有相关亚组中具有足够的统计能力,以实现所有可能的治疗。美国癌症联合委员会(AJCC)建议研究人员开发结果预测模型(OPMS),以实现个性化治疗决策。 OPM有时称为风险模型或预后模型,使用患者和肿瘤特征来预测患者的结局,例如总体生存。假设这些预测对于使用“只有在OPM预测患者具有高复发风险的情况下开出化学疗法的规则”之类的规则,对治疗决策有用。 AJCC认识到可靠预测的重要性,发布了OPM的清单,以确保设计OPM设计的患者群体的可靠OPM预测准确性。但是,准确的结果预测并不意味着这些预测会产生良好的治疗决策。从这个角度来看,我们表明OPM依靠固定的治疗政策,这意味着被发现可以准确预测验证研究结果的OPM在用于治疗决策的情况下仍会导致患者伤害。然后,我们提供有关如何开发对个性化治疗决策有用的模型以及如何评估模型是否具有决策价值的指导。
translated by 谷歌翻译
人工智能的最新趋势是将验证的模型用于语言和视觉任务,这些模型已经实现了非凡的表现,但也令人困惑。因此,以各种方式探索这些模型的能力对该领域至关重要。在本文中,我们探讨了模型的可靠性,在其中我们将可靠的模型定义为一个不仅可以实现强大的预测性能,而且在许多涉及不确定性(例如选择性预测,开放式设置识别)的决策任务上,在许多决策任务上表现出色,而且表现良好。强大的概括(例如,准确性和适当的评分规则,例如在分布数据集中和分发数据集上的对数可能性)和适应性(例如,主动学习,几乎没有射击不确定性)。我们设计了40个数据集的10种任务类型,以评估视觉和语言域上可靠性的不同方面。为了提高可靠性,我们分别开发了VIT-PLEX和T5-PLEX,分别针对视觉和语言方式扩展了大型模型。 PLEX极大地改善了跨可靠性任务的最先进,并简化了传统协议,因为它可以改善开箱即用的性能,并且不需要设计分数或为每个任务调整模型。我们演示了高达1B参数的模型尺寸的缩放效果,并预处理数据集大小最多4B示例。我们还展示了PLEX在具有挑战性的任务上的功能,包括零射门的开放式识别,主动学习和对话语言理解中的不确定性。
translated by 谷歌翻译
在嘈杂的互联网规模数据集上进行了预测,已对具有广泛的文本,图像和其他模式能力的培训模型进行了大量研究。但是,对于许多顺序决策域,例如机器人技术,视频游戏和计算机使用,公开可用的数据不包含以相同方式训练行为先验所需的标签。我们通过半监督的模仿学习将互联网规模的预处理扩展到顺序的决策域,其中代理通过观看在线未标记的视频来学习行动。具体而言,我们表明,使用少量标记的数据,我们可以训练一个足够准确的反向动力学模型,可以标记一个巨大的未标记在线数据来源 - 在这里,在线播放Minecraft的在线视频 - 然后我们可以从中训练一般行为先验。尽管使用了本地人类界面(鼠标和键盘为20Hz),但我们表明,这种行为先验具有非平凡的零射击功能,并且可以通过模仿学习和加强学习,可以对其进行微调,以进行硬探索任务。不可能通过增强学习从头开始学习。对于许多任务,我们的模型都表现出人类水平的性能,我们是第一个报告可以制作钻石工具的计算机代理,这些工具可以花费超过20分钟(24,000个环境动作)的游戏玩法来实现。
translated by 谷歌翻译
通常向用户提出自动模型选择,以选择用于应用给定回归任务的机器学习模型(或方法)。在本文中,我们表明,组合不同的回归模型比选择单个(“最佳”)回归模型可以产生更好的结果,并概述了一种有效的方法,该方法从异质性回归模型集中获得最佳加权凸线性组合。更具体地说,在本文中,在上一篇论文中使用的启发式权重优化被使用凸二次编程的精确优化算法取代。我们证明了直接配方的二次编程公式和具有加权数据点的配方的凸度。新颖的重量优化不仅(更多)精确,而且更有效。我们在本文中开发的方法是通过github-open源实现和提供的。它们可以在常见的硬件上执行,并提供透明且易于解释的接口。结果表明,该方法在一系列数据集上的表现优于模型选择方法,包括来自药物发现应用程序的混合变量类型的数据集。
translated by 谷歌翻译
在本文中,我们将$ \ textit {开放设定识别} $与域移动一起研究,最终目标是实现$ \ textit {无源的通用域apation} $(sf-unda),以解决以下情况源和目标域之间存在域和类别变化。在SF-UNDA设置下,该模型在目标适应过程中无法再访问源数据,旨在解决数据隐私问题。我们提出了一种新颖的培训计划,以学习($ n $+1) - 道路分类器,以预测$ n $源类和未知类别,其中仅可用于培训的样本。此外,对于目标适应,我们简单地采用了加权熵最小化,以使源预处理的模型适应未标记的目标域而没有源数据。在实验中,我们显示了:$ \ textbf {1)} $在源培训后,生成的源模型可以获得$ \ textit {开放设定单域概括} $以及$ \ textit {开放设定{open-Set识别}的出色性能$任务; $ \ textbf {2)} $在目标适应后,我们的方法超过了当前的UNDA方法,这些方法在几个基准上的适应过程中需要源数据。对几个不同任务的多功能性强烈证明了我们方法的功效和概括能力。 $ \ textbf {3)} $在目标适应过程中使用封闭设置的域适应方法增强时,我们的无源方法进一步超过了当前的最新unda方法,将当前的方法提高2.5%,7.2%和13% Office-31,办公室和Visda。代码将在https://github.com/albert0147/onering中提供。
translated by 谷歌翻译
On general regular simplicial partitions $\mathcal{T}$ of bounded polytopal domains $\Omega \subset \mathbb{R}^d$, $d\in\{2,3\}$, we construct \emph{exact neural network (NN) emulations} of all lowest order finite element spaces in the discrete de Rham complex. These include the spaces of piecewise constant functions, continuous piecewise linear (CPwL) functions, the classical ``Raviart-Thomas element'', and the ``N\'{e}d\'{e}lec edge element''. For all but the CPwL case, our network architectures employ both ReLU (rectified linear unit) and BiSU (binary step unit) activations to capture discontinuities. In the important case of CPwL functions, we prove that it suffices to work with pure ReLU nets. Our construction and DNN architecture generalizes previous results in that no geometric restrictions on the regular simplicial partitions $\mathcal{T}$ of $\Omega$ are required for DNN emulation. In addition, for CPwL functions our DNN construction is valid in any dimension $d\geq 2$. Our ``FE-Nets'' are required in the variationally correct, structure-preserving approximation of boundary value problems of electromagnetism in nonconvex polyhedra $\Omega \subset \mathbb{R}^3$. They are thus an essential ingredient in the application of e.g., the methodology of ``physics-informed NNs'' or ``deep Ritz methods'' to electromagnetic field simulation via deep learning techniques. We indicate generalizations of our constructions to higher-order compatible spaces and other, non-compatible classes of discretizations, in particular the ``Crouzeix-Raviart'' elements and Hybridized, Higher Order (HHO) methods.
translated by 谷歌翻译
这项工作检查了使用音节嵌入的可能性,而不是经常使用的$ n $ -gram embedings,作为子字嵌入。我们调查这两种语言:英语和荷兰语。为此,我们还翻译了两个标准的英语单词嵌入评估数据集,WordsIm353和Semeval-2017,达到荷兰语。此外,我们为研究界提供了两种语言的音节分解数据集。我们将我们的方法与Full Word和$ n $ -ghmm嵌入式进行比较。与完整的单词嵌入式相比,我们获得了英语模型,距离较小的20至30倍,同时保留80%的性能。对于荷兰语,型号为70%性能保留的15倍。虽然比我们使用的$ N $ -gram基线更准确,但我们的型号可以在几分钟内接受培训,而不是$ n $ -gram方法的小时。我们在未来的工作中确定了升级性能的道路。所有代码都被公开可用,以及我们收集的英语和荷兰音节分解和荷兰评估集转换。
translated by 谷歌翻译
最近的自我监督学习方法能够学习高质量的图像表示,并通过监督方法关闭差距。但是,这些方法无法逐步获取新的知识 - 事实上,它们实际上主要仅用为具有IID数据的预训练阶段。在这项工作中,我们在没有额外的记忆或重放的情况下调查持续学习制度的自我监督方法。为防止忘记以前的知识,我们提出了功能正规化的使用。我们将表明,朴素的功能正则化,也称为特征蒸馏,导致可塑性的低可塑性,因此严重限制了连续的学习性能。为了解决这个问题,我们提出了预测的功能正则化,其中一个单独的投影网络确保新学习的特征空间保留了先前的特征空间的信息,同时允许学习新功能。这使我们可以防止在保持学习者的可塑性时忘记。针对应用于自我监督的其他增量学习方法的评估表明我们的方法在不同场景和多个数据集中获得竞争性能。
translated by 谷歌翻译